Từ Thức quê ở ở Hòa Châu (Thanh Hóa). Ông làm một chức quan nhỏ thuộc huyện Tiên Du, Bắc Ninh. Do có sở thích hay đi ngao du, xem phong cảnh đẹp và làm thơ nên ông xin từ quan về quê Tống Sơn (Thanh Hóa). Khi trước có một ngôi chùa danh tiếng, khi Từ Thức đến thăm chùa có nhìn thấy một thiếu nữ xinh đẹp đến xem hoa nhỡ tay vịn gãy một cành hoa mẫu đơn, không có gì để đền, nên bị các chú tiểu nhà chùa bắt giữ lại để phạt vạ. Từ Thức liền cởi áo mặc ngoài, chuộc cho thiếu nữ. Mọi người đứng xem đều khen Từ Thức là người nhân đức.

Từ Thức nghe danh cửa Thần Phù huyện Tống Sơn có nhiều núi đẹp, liền đem theo một tiểu đồng và một túi đàn đến dựng một gian nhà nhỏ ở chân núi để ở. Một hôm, dậy sớm, trông ra cửa Thần Phù[2] thấy có mây ngũ sắc kết thành hình hoa sen, Từ Thức một mình chèo thuyền ra phía ấy. Đến chân một dãy núi cao ngất, chạy sát mặt biển, Từ Thức buộc thuyền lên bờ và trèo lên một mỏm đá cao. Chợt trông thấy một cái hang bên sườn núi. Từ Thức mới đi được vài bước thì cửa hang bỗng đóng ập lại. Từ Thức phải lần theo khe nước mà đi. Thấy núi cao vòi vọi, sườn núi dốc ngược, Từ Thức cố bám vào hốc đá trèo lên. Lên cao, ông thấy có đường rộng, rồi lên đến đỉnh núi thì trời quang đãng, ánh sáng rực rỡ, xa xa có lâu đài cung điện nhấp nhô bên những lùm cây xanh. Phu nhân bảo thị nữ gọi một tiểu thư ra. Vừa trông thấy, Từ Thức nhận ngay ra người con gái đánh gãy cành hoa mẫu đơn trong chùa ngày nọ. Người con gái đó có tên là Giáng Hương, mang ơn của Từ Thức nên đem lòng cảm kích. Ngay đêm hôm ấy, phu nhân sai mở tiệc hoa, cho hai người làm lễ thành hôn.

Từ Thức ở được chừng một năm, có ý nhớ nhà, nói với Giáng Hương rằng: " Tôi đi xa nhà đã lâu, lắm lúc nhớ quê cũ, muốn về thăm một chút". Giáng Hương khuyên rằng: "Thiếp không phải vì tình lưu luyến hẹp hòi mà ngăn trở ý định của chàng, chỉ vì ở trần gian tháng ngày ngắn ngủi, sợ chàng có về đến nhà, cũng không thấy còn như trước nữa". Sau đó vị phu nhân mới sai người lấy một cỗ xe để tiễn đưa chàng. Giáng Hương viết một phong thư dán kín đưa cho chồng, dặn đến nhà hãy mở ra xem.

Từ Thức từ biệt Giáng Hương và Phu nhân, rồi lên xe, chỉ chớp mắt đã về đến làng cũ. Phong cảnh khác hẳn xưa, chỉ còn hai bên khe núi là vẫn nguyên như trước. Chàng đem họ tên mình hỏi thăm các cụ già trong làng thì có một cụ trả lời: "Thuở bé tôi nghe nói ông cụ tam đại nhà tôi cũng cùng tên họ như ông, đi vào núi mất đến nay đã hơn 80 năm. Từ Thức buồn rầu, muốn lại ngồi lên xe tiên để đi, thì xe đã hóa thành chim loan bay đi mất rồi. Mở bức thư của Giáng Hương ra xem, chàng chỉ thấy có dòng chữ: "Ở nơi tiên cảnh, cùng nhau kết bạn, nay duyên xưa đã hết, không còn mong hội ngộ". Về sau, người ta thấy Từ Thức đội cái nón nhỏ vào núi Hoàng Sơn (thuộc huyện Nông Cống, Thanh Hóa) không thấy trở về nữa.